Thi sĩ Đông Hồ giải nghĩa: Kim dữ (hay Kim Dự) là hòn đảo vàng. Lan là khép cảnh cửa lại, ngăn chặn, như cánh cửa khép lại. Đào là sóng gió. Vậy, Kim dữ lan đào là hòn đảo vàng ngăn chặn sóng gió từ ngoài biển không lọt vào được bên trong.[2] Bốn chữ này ngụ ý nói rằng, Hà Tiên tuy là một vùng đất nhỏ nhưng lại có tầm quan trọng trong việc che chắn cho giang sơn của chúa Nguyễn.

Năm 1831, vua Bảo Đại sai sửa sang đồn lũy trên đỉnh, cho đặt trọng pháo, vì thế hòn đảo này còn có tên gọi là Pháo Đài.